持续学习（CL）旨在从依次到达的任务中学习，而无需忘记以前的任务。尽管CL算法试图在到目前为止所学的所有任务中实现更高的平均测试准确性，但学习对成功的概括和下游转移至关重要。为了衡量代表性质量，我们仅使用一个小平衡数据集对所有任务进行重新培训，从而评估平均准确性，而无需对当前任务进行任何偏见的预测。我们还测试了几个下游任务，测量了学习表示的转移学习准确性。通过测试我们在Imagenet-100和Imagenet-1000上的新形式主义，我们发现使用更多的示例记忆是在学习的表示形式中产生有意义差异的唯一选择，以及大多数基于正则化或蒸馏的CL算法，都使用了示例记忆无法在课堂学习学习中学习不断有用的表示。令人惊讶的是，具有足够记忆大小的无监督（或自制的）CL可以达到与受监督对应物相当的性能。考虑到非平凡的标签成本，我们声称找到更有效的无监督CL算法，这些算法最少使用示例性记忆将是CL研究的下一个有希望的方向。

我们研究了任务不合时宜的持续强化学习方法（tACRL）。 TACRL是一种结合了部分观察RL（任务不可知论的结果）和持续学习的困难（CL）的困难，即在任务的非平稳序列上学习。我们将tACRL方法与以前文献规定的软上限进行比较：多任务学习（MTL）方法，这些方法不必处理非平稳数据分布以及任务感知方法，这些方法可以在完整的情况下进行操作可观察性。我们考虑了先前未开发的基线，用于基于重播的复发性RL（3RL），其中我们增强了具有复发机制的RL算法，以减轻部分可观察性和经验经验的重播机制，以使CL中的灾难性遗忘。通过研究一系列RL任务的经验性能，我们发现3RL匹配并克服MTL和任务感知的软上限的情况令人惊讶。我们提出假设，可以解释不断的和任务不足学习研究的这个拐点。通过对流行的多任务和持续学习基准元世界的大规模研究，我们的假设在连续控制任务中进行了经验检验。通过分析包括梯度冲突在内的不同培训统计数据，我们发现证据表明3RL的表现超出其能够快速推断新任务与以前的任务的关系，从而实现前进的转移。

本文介绍了类增量语义分割（CISS）问题的固态基线。虽然最近的CISS算法利用了知识蒸馏（KD）技术的变体来解决问题，但他们未能充分解决CISS引起灾难性遗忘的关键挑战;背景类的语义漂移和多标签预测问题。为了更好地解决这些挑战，我们提出了一种新方法，被称为SSUL-M（具有内存的未知标签的语义分割），通过仔细组合为语义分割量身定制的技术。具体来说，我们要求三项主要贡献。 （1）在背景课程中定义未知的类，以帮助学习未来的课程（帮助可塑性），（2）冻结骨干网以及与二进制交叉熵丢失和伪标签的跨熵丢失的分类器，以克服灾难性的遗忘（帮助稳定）和（3）首次利用微小的示例存储器在CISS中提高可塑性和稳定性。广泛进行的实验表明了我们的方法的有效性，而不是标准基准数据集上最近的最新的基线的性能明显更好。此外，与彻底的消融分析有关我们对彻底消融分析的贡献，并与传统的类增量学习针对分类相比，讨论了CISS问题的不同自然。官方代码可在https://github.com/clovaai/ssul获得。

分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。

我们考虑了类增量学习（CIL）问题，其中学习代理人通过逐步到达的培训数据批次不断学习新课程，并旨在在迄今为止所学的所有课程中很好地预测。问题的主要挑战是灾难性的遗忘，对于基于典范的示例性记忆方法，通常众所周知，遗忘通常是由于分类评分偏差引起的，该分类得分偏差是由于新类和新类之间的数据失衡而注射的旧课（在示例记忆中）。尽管已经提出了几种方法来通过一些其他后处理（例如，得分重新缩放或平衡的微调）来纠正这种分数偏见，但没有对这种偏见的根本原因进行系统分析。为此，我们分析了通过组合所有旧类和新类的输出得分来计算SoftMax概率的主要原因。然后，我们提出了一种新方法，称为分离的软磁性学习（SS-IL），该方法由分离的SoftMax（SS）输出层组成，结合了任务知识蒸馏（TKD）来解决此类偏见。在几个大规模CIL基准数据集的广泛实验结果中，我们通过在没有任何其他后处理的情况下获得更加平衡的预测分数来表明我们的SS-IL实现了强大的最新准确性。

Neural network interpretation methods, particularly feature attribution methods, are known to be fragile with respect to adversarial input perturbations. To address this, several methods for enhancing the local smoothness of the gradient while training have been proposed for attaining \textit{robust} feature attributions. However, the lack of considering the normalization of the attributions, which is essential in their visualizations, has been an obstacle to understanding and improving the robustness of feature attribution methods. In this paper, we provide new insights by taking such normalization into account. First, we show that for every non-negative homogeneous neural network, a naive $\ell_2$-robust criterion for gradients is \textit{not} normalization invariant, which means that two functions with the same normalized gradient can have different values. Second, we formulate a normalization invariant cosine distance-based criterion and derive its upper bound, which gives insight for why simply minimizing the Hessian norm at the input, as has been done in previous work, is not sufficient for attaining robust feature attribution. Finally, we propose to combine both $\ell_2$ and cosine distance-based criteria as regularization terms to leverage the advantages of both in aligning the local gradient. As a result, we experimentally show that models trained with our method produce much more robust interpretations on CIFAR-10 and ImageNet-100 without significantly hurting the accuracy, compared to the recent baselines. To the best of our knowledge, this is the first work to verify the robustness of interpretation on a larger-scale dataset beyond CIFAR-10, thanks to the computational efficiency of our method.

当前现有的视觉和语言预训练（VLP）方法的大多数主要集中在如何提取和调整视觉和文本功能上。与主流VLP方法相反，我们强调指出，在训练预训练期间的两个常规应用步骤对预训练模型的性能至关重要：图像介绍（ITM）的内部硬性负面采样（ITM）并分配大型掩盖掩盖语言建模（MLM）的概率。在经验显示上述两个步骤的意外有效性之后，我们系统地设计了砂粒vlp，该砂粒可适应小型批次，以更有效地为ITM挖掘硬性阴性样品，同时维持预训练的计算成本。我们的方法由三个组成部分组成：1）分组的迷你批次采样（砂砾）策略，该策略在迷你批次中收集了类似的示例，2）ITC一致性损失以提高采矿能力，3）MLM的扩大掩蔽概率。因此，我们显示了我们的砂粒vlp在各种下游任务上实现了新的最新性能，计算成本要少得多。此外，我们证明了我们的模型基本上与以前的最先进的ALBEF相提并论，只有三分之一的训练时代在相同的培训数据上。代码可在https://github.com/jaeseokbyun/grit-vlp上找到。

异质图神经网络（GNNS）在半监督学习设置中在节点分类任务上实现了强大的性能。但是，与更简单的GNN案例一样，基于消息的异质GNN可能难以在抵抗深模型中发生的过度厚度与捕获长期依赖关系图表结构化数据之间进行平衡。此外，由于不同类型的节点之间的异质关系，这种权衡的复杂性在异质图中复杂化。为了解决这些问题，我们提出了一种新型的异质GNN结构，其中层来自降低新型关系能量函数的优化步骤。相应的最小化器相对于能量函数参数是完全可区分的，因此可以应用双光线优化来有效地学习功能形式，其最小值为后续分类任务提供了最佳节点表示。特别是，这种方法使我们能够在不同的节点类型之间建模各种杂质关系，同时避免过度平滑效果。 8个异质图基准的实验结果表明，我们提出的方法可以达到竞争性节点分类的精度。

最近，公平感知学习已经变得越来越重要，但我们注意到这些方法的大多数方法是通过假设完全注释的组标签的可用性来运作。我们强调，这种假设对于现实世界的应用是不现实的，因为组标签注释昂贵，并且可以与隐私问题冲突。在本文中，我们考虑了一种更实际的场景，称为算法公平，部分注释的组标签（Fair-PG）。我们观察到现有的公平方法，该方法仅使用与组标签的数据，表现比Vanilla培训更糟糕，这仅在Fair-PG下使用目标标签使用完整数据。为了解决这个问题，我们提出了一个简单的基于席信的群标签分配（CGL）策略，这些策略随时适用于任何公平意识的学习方法。我们的CGL利用辅助组分类器分配伪组标签，其中随机标签分配给低自信的样本。我们首先理论上表明，在公平标准方面，我们的方法设计优于香草伪标签策略。然后，我们经验展示了通过组合CGL和最先进的公平性的处理方法，与基线方法相比结合CGL和最先进的公平知识的处理方法，将目标精度和公平度量进行联合改善。此外，我们令人信服地表明，我们的CGL使得自然地将给定的组标记的数据集自然使用外部数据集仅适用于目标标签，以便可以提高精度和公平度量。我们将公开释放我们的实施，以便将来的研究重现我们的结果。

通过将其与监督学习框架相结合，我们改善了最近开发的神经元，是一种基于神经网络的自适应离散的丹机。即，我们通过基于给定嘈杂的数据受到去噪的给定嘈杂的数据来使神经调整的监督训练兼容。结果，与香草神经元伙子相比，我们实现了显着的去噪能力，这只需要采用随机初始化参数的自适应微调步骤。此外，我们示出了自适应微调使得算法稳健使得噪声错配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外，我们制作一些算法的进步，使神经伙伴更可扩展，并处理具有更大字母大小的多维数据或数据。我们系统地显示了我们对两个非常多元化的数据集，二值图像和DNA序列的改进。